部署的监督机器学习模型使预测与世界相互作用。这种现象称为Perdomo等人的表演预测。 （ICML 2020）。了解这种预测的影响以及设计工具，是一个持续的挑战，以控制这种影响。我们提出了一种理论框架，其中目标群体对部署分类器的响应被建模为分类器的函数和群体的当前状态（分布）。我们向两次再培训算法的平衡点表示必要和充分的条件，重复风险最小化和Lazier变体。此外，收敛在最佳分类器附近。因此，我们概括了Perdomo等人的结果。，其表现框架不承担任何对目标人群状态的依赖。我们的模型捕获的特定现象是在不同速率下获取信息和资源的独特群体能够响应最新的部署分类器。我们理论上和经验研究这种现象。
translated by 谷歌翻译
最近，出于手术目的，基于视频的应用程序的发展不断增长。这些应用程序的一部分可以在程序结束后离线工作，其他应用程序必须立即做出反应。但是，在某些情况下，应在过程中进行响应，但可以接受一些延迟。在文献中，已知在线访问性能差距。我们在这项研究中的目标是学习绩效 - 延迟权衡并设计一种基于MS-TCN ++的算法，该算法可以利用这种权衡。为此，我们使用了开放手术模拟数据集，其中包含96个参与者的视频，这些视频在可变的组织模拟器上执行缝合任务。在这项研究中，我们使用了从侧视图捕获的视频数据。对网络进行了训练，以识别执行的手术手势。幼稚的方法是减少MS-TCN ++深度，结果减少了接受场，并且还减少了所需的未来帧数。我们表明该方法是最佳的，主要是在小延迟情况下。第二种方法是限制每个时间卷积中可访问的未来。这样，我们在网络设计方面具有灵活性，因此，与幼稚的方法相比，我们的性能要好得多。
translated by 谷歌翻译
任何稀疏编码方法的最终目标是从几个嘈杂的线性测量值（一个未知的稀疏向量）中准确恢复。不幸的是，这个估计问题通常是NP-HARD，因此始终采用近似方法（例如Lasso或正交匹配的追踪）来接近它，从而使准确性以较小的计算复杂性进行了交易。在本文中，我们为稀疏编码开发了一种量子启发的算法，前提是，与经典近似方法相比，量子计算机和ISING机器的出现可能会导致更准确的估计。为此，我们将最一般的稀疏编码问题作为二次不受约束的二进制优化（QUBO）任务提出，可以使用量子技术有效地最小化。为了在旋转数量（空间复杂性）方面也有效地得出QUBO模型，我们将分析分为三种不同的情况。这些由表达基础稀疏向量所需的位数来定义：二进制，2位和一般的定点表示。我们使用有关Lightsolver量子启发的数字平台的模拟数据进行数值实验，以验证我们的QUBO公式的正确性，并证明其优于基线方法的优势。
translated by 谷歌翻译
自我模型是一种过程，例如动物或机器等代理商学会创建自己动态的预测模型。一旦被捕获，这种自模型就可以允许代理使用自我模型在内部计划和评估各种潜在行为，而不是使用昂贵的物理实验。在这里，我们量化了这种自模型对机器人的复杂性的好处。我们发现与直接学习基线相比，机器人拥有的自由度数量与自模型的附加值之间的R2 = 0.90相关性。这一结果可能有助于激发日益复杂的机器人系统中的自我建模，并阐明动物和人类自我模型的起源，并最终自我意识。
translated by 谷歌翻译
仿真是用于创建控制策略和测试各种物理参数的机器人技术的重要步骤。 Soft Robotics是一个领域，由于可变形材料组件的非线性以及其他创新性且通常是复杂的物理特性而引起了独特的物理挑战，以模拟其主题。由于使用传统技术模拟柔软和异质物体的计算成本，刚性机器人模拟器不太适合模拟软机器人。因此，许多工程师必须构建自己为系统量身定制的一次性模拟器，或使用具有降低性能的现有模拟器。为了促进这项激动人心的技术的开发，这项工作为各种软机器人提供了交互式，准确和多功能的模拟器。我们的开源3D仿真引擎Cronos与可变形和刚性对象的超快速性能的质量弹簧模型平行。我们的方法适用于多种非线性材料构型，包括高变形性，体积致动或异质刚度。这种多功能性提供了在单个机器人模拟中自由混合材料和几何成分的能力。通过利用非线性胡克恩质量弹簧系统的灵活性和可扩展性，该框架通过高度并行模型模拟柔软而刚性的对象，以实现近实时速度。我们描述了有效的GPU CUDA实施，我们证明了该实施是为了在消费级GPU卡上实现每秒超过10亿个元素的计算。通过将结果与Euler-Bernoulli光束理论，固有频率预测和软结构在大变形下的软结构进行比较来验证系统的动态物理准确性。
translated by 谷歌翻译
在过去的几十年中，出现了一种趋势，指出在可移动，可编程和可转换机制中利用结构不稳定性。受钢制发夹的启发，我们将面板组件与可靠的结构相结合，并使用半刚性塑料板建造合规的拍打机构，并将其安装在束缚的气动软机器人鱼和无螺旋螺旋式的电动机驱动器上，以展示它的前所未有的优势。设计规则是根据理论和验证提出的。观察到与参考相比，气动鱼的游泳速度提高了两倍，对Untether Fish的进一步研究表明，对于不固定的兼容的游泳运动员，可损坏的速度为2.03 BL/S（43.6 cm/s），优于先前报告的最快的，其幅度为194％。这项工作可能预示着下一代符合下一代机器人技术的结构革命。
translated by 谷歌翻译
惯性测量单元（IMU）在机器人研究中无处不在。它为机器人提供了姿势信息，以实现平衡和导航。但是，人类和动物可以在没有精确的方向或位置值的情况下感知其身体在环境中的运动。这种互动固有地涉及感知和动作之间的快速反馈回路。这项工作提出了一种端到端方法，该方法使用高维视觉观察和动作命令来训练视觉自模型进行腿部运动。视觉自模型学习机器人身体运动与地面纹理之间的空间关系从图像序列变化。我们证明机器人可以利用视觉自模型来实现机器人在训练过程中看不见的现实环境中的各种运动任务。通过我们提出的方法，机器人可以在没有IMU的情况下或在没有GPS或弱地磁场的环境中进行运动，例如该市的室内和Urban Canyons。
translated by 谷歌翻译
所有物理定律都被描述为状态变量之间的关系，其提供相关系统动态的完整和非冗余描述。然而，尽管计算功率和AI的普及，但识别隐藏状态变量本身的过程已经抵制了自动化。用于建模物理现象的大多数数据驱动方法仍然假设观察到的数据流已经对应于相关状态变量。关键挑战是仅给予高维观察数据，从头开始识别可能的状态变量集。在这里，我们提出了一种新的原理，用于确定观察到的系统可能具有多少状态变量，以及这些变量可以直接来自视频流。我们展示了使用各种物理动态系统的视频录制的这种方法的有效性，从弹性双摆到火焰。如果没有任何相关的物理知识，我们的算法发现观察到的动态的内在尺寸，并识别候选州变量集。我们建议这种方法可以帮助促进对越来越复杂的系统的理解，预测和控制。项目网站是：https://www.cs.columbia.edu/~bchen/nebural-tate-variables
translated by 谷歌翻译
内部计算模型的物理体是机器人和动物的能力来规划和控制行动的基础。这些“自我模型”允许机器人考虑多种可能的未来行动的结果，而不会在物理现实中尝试。最近的完全数据驱动自建模中的进展使机器能够直接从任务 - 不可行的交互数据学习自己的前瞻性运动学。然而，前进kinema \ -tics模型只能预测形态的有限方面，例如关节和肿块的最终效果或速度的位置。一个关键的挑战是模拟整个形态和运动学，而无需先验知识的形态的哪些方面与未来的任务相关。在这里，我们建议，而不是直接建模前瞻性，更有用的自我建模形式是一个可以回答空间占用查询的形式，而是在机器人的状态下调节空间占用疑问。这种查询驱动的自模型在空间域中是连续的，内存高效，完全可分辨：运动感知。在物理实验中，我们展示了视觉自我模型是如何准确到工作空间的百分比，使机器人能够执行各种运动规划和控制任务。视觉自我建模还可以让机器人从真实世界损坏中检测，本地化和恢复，从而提高机器弹性。我们的项目网站是：https://robot-morphology.cs.columbia.edu/
translated by 谷歌翻译
目的：这项工作的目标是使用多摄像机视频来分类开放式手术工具，并确定每只手中的哪个工具。多摄像机系统有助于防止在开放的外科视频数据中闭塞。此外，组合多个视图，例如覆盖完整操作场的俯视摄像机和聚焦在手动运动和解剖结构上的特写相机，可以提供更全面的手术工作流程。然而，多摄像机数据融合构成了新的挑战：一个工具可以在一个相机中可见，而不是另一个。因此，我们将全球原始事实定义为使用的工具，无论他们的可见性如何。因此，在系统中应在广泛的时间段内记住超出图像的工具，而系统响应在视频中可见的变化。方法：参与者（n = 48）进行了模拟开放肠道修复。使用顶视图和特写摄像头。 YOLOV5用于工具和手动检测。具有每秒30帧（FPS）的1秒窗口的高频LSTM和3个FPS的40秒窗口的低频LSTM用于空间，时间和多摄像头集成。结果：六个系统的精度和F1是：俯视图（0.88 / 0.88），特写（0.81,0.83），摄像机（0.9 / 0.9），高FPS LSTM（0.92 / 0.93），低FPS LSTM （0.9 / 0.91），我们的最终体系结构多相机分类器（0.93 / 0.94）。结论：通过将具有高FP的系统与多个摄像机阵列的低FPS组合，我们提高了全球地面真理的分类能力。
translated by 谷歌翻译